인공지능 대상 공격
더 많은 작업
- Attacks on AI systems; 인공지능 대상 공격
- 인공지능 시스템이나 모델을 노려 오작동, 성능 저하, 정보 유출, 오용을 일으키는 공격
인공지능 대상 공격은 기계 학습·딥 러닝 모델과 그 모델을 쓰는 시스템을 대상으로 한 공격을 통틀어 이르는 말이다. 모델이 의도하지 않은 결과를 내게 하거나(무결성), 서비스를 쓸 수 없게 하거나(가용성), 모델과 학습 데이터에 관한 정보를 빼내거나(프라이버시), 생성형 AI의 안전 장치를 우회해 금지된 용도로 쓰게 하는(오용) 것이 목표다. 공격은 학습 데이터, 학습 과정, 배포된 모델의 입력과 출력, 모델을 둘러싼 소프트웨어 공급망과 도구 어디서든 일어날 수 있다.
이 문서는 공격 쪽의 분류 지도다. 공격 연구 분야의 위협 모델과 역사는 적대적 머신러닝, 방어·거버넌스·AI를 이용한 보안까지 포함한 전체 그림은 AI 보안 문서에서 다룬다. 시험 대비용 회피·중독·탐색 3분류는 적대적 공격 문서에 정리했다.
미국 NIST의 「Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations」(NIST AI 100-2 E2025, 2025년 3월)는 이 분야의 표준 용어집 역할을 한다. 예측형 AI(PredAI)와 생성형 AI(GenAI)를 나눠 두 개의 분류 체계를 두고, 다음 축으로 공격을 구분한다.[1]
| 축 | 구분 | 비고 |
|---|---|---|
| 학습 단계 | 학습(training) 단계, 배포(deployment) 단계 | 생성형 AI는 사전 학습, 미세 조정, 추론으로 더 나눈다 |
| 공격 목표 | 가용성 침해(NISTAML.01), 무결성 침해(NISTAML.02), 프라이버시 침해(NISTAML.03), 오용 조장(NISTAML.04, 생성형만), 공급망(NISTAML.05) | 전통 보안의 CIA에 대응하되 기밀성 대신 "프라이버시"를 쓴다 |
| 공격자 능력 | 학습 데이터 제어, 모델 제어, 시험 데이터 제어, 레이블 제한, 소스 코드 제어, 질의 접근 | 생성형 AI는 자원 제어(검색되는 문서, 웹 페이지 등) 같은 능력이 추가된다 |
| 공격자 지식 | 화이트박스, 그레이박스, 블랙박스 | 화이트박스는 방어를 아는 적응형 공격까지 포함한다 |
| 데이터 양식 | 이미지, 텍스트, 음성, 영상, 사이버 보안 데이터, 표 데이터, 다중 양식 | 분류 자체는 양식과 무관하다 |
공격 목표와 학습 단계를 교차하면 공격이 다음처럼 자리 잡는다.
| 목표 \ 단계 | 학습 단계 | 배포 단계 |
|---|---|---|
| 가용성 침해 | 데이터 중독(NISTAML.013), 모델 중독(NISTAML.011) | 에너지-지연 공격(NISTAML.014), 간접 프롬프트 인젝션(NISTAML.015)을 통한 가용성 공격(NISTAML.016, 시간이 오래 걸리는 작업 유도 NISTAML.017) |
| 무결성 침해 | 표적 중독(NISTAML.024), 백도어 중독(NISTAML.023), 클린 레이블 중독(NISTAML.012, .021), 모델 중독(NISTAML.011, .026) | 회피(NISTAML.022), 블랙박스 회피(NISTAML.025), 간접 프롬프트 인젝션을 통한 오정렬 출력(NISTAML.027) |
| 프라이버시 침해 | 학습 데이터 공격(NISTAML.037) | 모델 추출(NISTAML.031), 데이터 재구성(NISTAML.032), 멤버십 추론(NISTAML.033), 속성 추론(NISTAML.034), 프롬프트 추출(NISTAML.035), 사용자 상호작용 정보 유출(NISTAML.036), 데이터 추출(NISTAML.038), 연결 자원 침해(NISTAML.039) |
| 오용 조장 | 거부 동작을 없애는 미세 조정(fine-tuning circumvention, 용어집 항목) | 프롬프트 인젝션·직접 프롬프팅 공격(NISTAML.018), 탈옥 |
| 공급망 | 공급망 모델 중독(NISTAML.051), 공개 데이터셋 중독 | 오염된 모델·구성요소가 배포 후 작동 |
식별자는 원문의 색인과 본문 절 머리에서 확인했다. 같은 공격이 여러 목표에 걸쳐 나오기도 한다(예: 간접 프롬프트 인젝션은 가용성·무결성·프라이버시 침해 모두에 올라 있다).[1] 백도어 공격은 학습 데이터(트리거를 심은 표본)와 시험 데이터(트리거를 붙인 입력)를 모두 조작해야 하는 유일한 공격 유형이라는 점에서 다른 공격과 구별된다고 NIST는 설명한다.
과기정통부와 KISA가 2025년 12월 낸 「인공지능(AI) 보안 안내서」는 AI 보안 위협을 4분류 13종으로 정리한다.[2]
| 분류 | 위협 |
|---|---|
| AI 모델 취약점 공격 | 프롬프트 공격, 회피 공격, 오염 공격, 데이터 추출 공격, 모델 추출 공격 |
| AI 서비스 공격 | DoS/DDoS, 피싱 메일 등을 통한 악성코드 배포, AI 서비스 대상 해킹 |
| AI 악용 보안 위협 | 악성코드 생성, 피싱·스미싱 메일 생성, 범죄 지식 학습 |
| 데이터 유출 | 민감정보 입력, 개인정보 출력 |
이 가운데 "AI 악용 보안 위협"은 AI를 대상으로 한 공격이 아니라 공격자가 AI를 도구로 쓰는 경우다. 이 쪽은 AI 기반 사이버 공격 문서에서 다룬다.
학습 데이터의 일부를 넣거나 고쳐 모델을 망가뜨리는 공격으로, 데이터 중독·데이터 포이즈닝이라고도 한다. 정확도를 전반적으로 떨어뜨리는 가용성 중독, 특정 표본만 틀리게 하는 표적 중독, 레이블은 그대로 두고 입력만 교묘하게 바꾸는 클린 레이블 중독으로 나뉜다.[1] 웹에서 긁어 모은 데이터셋은 만료된 도메인을 사들여 내용을 바꾸는 식으로 오염시킬 수 있어, LAION-400M이나 COYO-700M의 0.01%를 60달러로 오염시킬 수 있었다는 연구가 있다.[3] 대형 언어 모델에서는 모델 크기와 관계없이 오염 문서 250개 정도로 백도어를 심을 수 있었다는 2025년 결과도 나왔다.[4] 자세한 내용은 데이터 오염 공격 문서 참고.
라벨 뒤집기(label flipping)는 데이터 오염의 가장 단순한 형태로, 학습 표본의 입력은 그대로 두고 레이블만 다른 클래스로 바꾼다. 공격자가 레이블을 제어할 수 있어야 하므로 NIST 분류의 "레이블 제한"이 없는 경우에 해당하며, 레이블을 건드리지 않는 클린 레이블 중독과 대비된다.[1] 크라우드소싱으로 레이블을 모으거나 사용자 신고를 학습에 반영하는 시스템에서 현실적인 위협이다.
학습 중에 특정 트리거(trigger)와 공격자가 원하는 출력을 연결해 두어, 평소에는 정상으로 작동하다가 트리거가 들어간 입력에만 공격자의 의도대로 반응하게 만드는 공격이다. 트로이 목마 공격이라고도 한다. BadNets(2017)는 정지 표지판에 특정 스티커를 붙이면 속도 제한 표지판으로 인식하는 백도어를 심었고, 이 백도어가 다른 작업으로 재학습한 뒤에도 남는다는 것을 보였다. 학습을 외부에 맡기거나 남이 만든 사전 학습 모델을 받아 쓰는 관행이 위험 요인으로 지적되었다.[5] 앤트로픽의 「Sleeper Agents」(2024)는 연도가 2024년이라고 하면 취약한 코드를 넣도록 학습한 언어 모델의 백도어가 지도 미세 조정, 강화 학습, 적대적 훈련 같은 안전성 학습으로도 지워지지 않았다고 보고했다.[6] 자세한 내용은 백도어 공격 (인공지능) 문서 참고.
배포된 모델의 입력에 사람이 알아채기 어려운 교란을 더해 판정을 바꾸는 공격이다. 이렇게 만든 입력을 적대적 예제라 한다. 고양이 사진에 잡음을 더해 다른 동물로 분류하게 만드는 것이 전형적인 예이고, 실제 정지 표지판에 흑백 스티커를 붙여 속도 제한 표지판으로 오인시킨 물리적 공격도 있다.[8] 모델 구조와 가중치를 아는 화이트박스 공격(FGSM, PGD, C&W)과, 입출력만 보는 블랙박스 공격(대리 모델 전이, 질의 기반 최적화)으로 나뉜다. 한 모델에서 만든 적대적 예제가 다른 모델에도 통하는 전이성 때문에 모델을 숨기는 것만으로는 막을 수 없다.[9]
대형 언어 모델은 개발자의 지시(시스템 프롬프트)와 사용자 입력, 외부에서 가져온 문서를 모두 같은 텍스트로 받아 처리한다. 이 때문에 입력 속에 숨긴 지시로 원래 지시를 덮어쓰는 프롬프트 인젝션이 가능하다. 공격자가 직접 입력하면 직접 인젝션, 웹 페이지·메일·검색 문서처럼 모델이 읽게 될 데이터에 지시를 숨기면 간접 프롬프트 인젝션이다. 그레샤케(Greshake) 등은 간접 인젝션이 데이터와 명령의 경계를 허물어 데이터 탈취나 웜 같은 피해로 이어질 수 있음을 실제 서비스에서 보였다.[10] 모델의 안전 정책 자체를 우회해 금지된 답을 받아내는 것은 탈옥이라 한다. 최적화로 찾은 적대적 접미사(GCG)가 여러 상용 모델에 전이된다는 결과는 적대적 예제 연구가 언어 모델로 이어진 사례다.[11]
모델이 도구를 호출하고 코드를 실행하는 AI 에이전트에서는 인젝션의 결과가 텍스트에서 끝나지 않고 실제 행동(메일 발송, 파일 삭제, 결제)으로 이어진다. 도구 설명에 악성 지시를 숨기는 툴 포이즈닝, 에이전트의 장기 기억에 거짓 정보를 심는 메모리 중독, 필요 이상의 권한을 받은 에이전트가 피해를 키우는 과도한 위임이 대표적이다. MITRE ATLAS는 AI Agent Tool Poisoning(AML.T0110), AI Agent Context Poisoning(AML.T0080), RAG Poisoning(AML.T0070) 같은 에이전트 기법을 따로 두고 있다.[7] 자세한 내용은 AI 에이전트 보안 참고.
입력을 조작해 추론에 드는 연산과 에너지를 크게 늘리는 에너지-지연 공격(스펀지 예제), 대량 질의로 서비스를 마비시키거나 종량제 요금을 폭증시키는 공격이 여기에 든다. OWASP는 LLM 애플리케이션의 이 위험을 "무제한 소비"로 부른다.[12] 자세한 내용은 무제한 소비 (인공지능) 참고.
원본 모델에 대량으로 질의해 입력과 출력 쌍을 모으고, 이를 학습해 원본과 거의 같은 모델을 복제하는 공격이다. 모델 탈취라고도 한다. 트라메르(Tramèr) 등은 2016년에 BigML과 아마존 머신러닝(Amazon Machine Learning)의 유료 예측 서비스를 대상으로 로지스틱 회귀, 신경망, 결정 트리를 거의 완벽한 충실도로 복제했고, 출력에서 신뢰도 점수를 빼는 대응도 충분하지 않다고 보였다.[13] 복제한 모델은 그 자체로 지식재산 침해이고, 화이트박스 회피 공격을 준비하는 대리 모델로도 쓰인다. 자세한 내용은 모델 추출 공격 참고.
생성 모델이 학습 데이터를 그대로 외워 내놓게 만드는 공격이다. 칼리니(Carlini) 등은 GPT-2에서 이름, 전화번호, 이메일 주소가 포함된 문장을 포함해 학습 데이터 원문 수백 건을 뽑아냈고, 큰 모델일수록 더 취약하다고 보고했다.[16] 2023년 연구는 정렬된 ChatGPT도 특정 방식으로 대화 형식을 이탈시키면 평소보다 150배 높은 비율로 학습 데이터를 내놓는다는 것을 보였다.[17] 자세한 내용은 학습 데이터 추출 공격 참고.
LLM 애플리케이션이 숨겨 둔 시스템 프롬프트를 사용자가 받아내는 공격이다. 프롬프트 안에 API 키, 내부 규칙, 권한 정보가 들어 있으면 다음 공격의 발판이 된다. NIST는 프롬프트 추출(NISTAML.035), OWASP는 LLM07:2025로 분류한다.[1][12] 자세한 내용은 시스템 프롬프트 유출 참고.
아래 표는 NIST 분류의 주요 공격을 OWASP Top 10 for LLM Applications 2025, OWASP Machine Learning Security Top 10(2023 초안), MITRE ATLAS 기법에 대응시킨 것이다. OWASP 항목 이름은 2025년판 공식 한국어판 표기를 따랐다.[12][18][7]
| 공격 | NIST AI 100-2 | OWASP LLM 2025 | OWASP ML 2023 | MITRE ATLAS |
|---|---|---|---|---|
| 회피 | NISTAML.022, .025 | 해당 없음 | ML01 입력 조작 | AML.T0015 Evade AI Model, AML.T0043 Craft Adversarial Data |
| 데이터 오염 | NISTAML.013, .024, .012 | LLM04 데이터 및 모델 오염 | ML02 데이터 중독 | AML.T0020 Training Data Poisoning |
| 백도어 | NISTAML.023, .021 | LLM04 데이터 및 모델 오염 | ML10 모델 중독 | AML.T0018.000 Poison AI Model, AML.T0043.004 Insert Backdoor Trigger |
| 공급망 | NISTAML.05, .051 | LLM03 공급망 | ML06 AI 공급망 공격, ML07 전이 학습 공격 | AML.T0010 AI Supply Chain Compromise |
| 모델 추출 | NISTAML.031 | 해당 없음 | ML05 모델 탈취 | AML.T0024.002 Extract AI Model |
| 모델 인버전 | NISTAML.032 | LLM02 민감 정보 유출 | ML03 모델 인버전 | AML.T0024.001 Invert AI Model |
| 멤버십 추론 | NISTAML.033 | LLM02 민감 정보 유출 | ML04 멤버십 추론 | AML.T0024.000 Infer Training Data Membership |
| 학습 데이터 추출 | NISTAML.038 | LLM02 민감 정보 유출 | 해당 없음 | AML.T0024 Exfiltration via AI Inference API |
| 시스템 프롬프트 유출 | NISTAML.035 | LLM07 시스템 프롬프트 유출 | 해당 없음 | AML.T0056 Extract LLM System Prompt |
| 직접 프롬프트 인젝션·탈옥 | NISTAML.018 | LLM01 프롬프트 인젝션 | 해당 없음 | AML.T0051 LLM Prompt Injection, AML.T0054 LLM Jailbreak |
| 간접 프롬프트 인젝션 | NISTAML.015 | LLM01 프롬프트 인젝션 | 해당 없음 | AML.T0051 LLM Prompt Injection, AML.T0070 RAG Poisoning |
| 에이전트·도구 악용 | 3.5절(에이전트 보안) | LLM06 과도한 위임 | 해당 없음 | AML.T0110 AI Agent Tool Poisoning, AML.T0080 AI Agent Context Poisoning |
| 가용성 공격 | NISTAML.014, .016, .017 | LLM10 무제한 소비 | 해당 없음 | AML.T0029 Denial of AI Service, AML.T0034 Cost Harvesting |
| 출력 악용 | 해당 없음 | LLM05 부적절한 출력 처리 | ML09 출력 무결성 공격 | 해당 없음 |
OWASP LLM Top 10은 2026년 8월에 새 판이 나와 과도한 위임이 3위로 올라가는 등 순위가 바뀌었다. 판별 변화는 OWASP Top 10 for LLM Applications, 에이전트 고유 위험 목록은 OWASP Top 10 for Agentic Applications 문서 참고. ATLAS의 전술 체계와 사례 연구는 MITRE ATLAS 문서에 있다.
공격마다 대응이 다르므로 세부 방어는 각 문서에서 다룬다. 여기서는 큰 갈래만 정리한다.
| 대상 | 대표 대응 | 관련 문서 |
|---|---|---|
| 회피 | 적대적 훈련, 랜덤 스무딩 같은 인증된 방어, 입력 검증과 이상 입력 탐지 | 적대적 예제, 인공지능 강건성 |
| 중독·백도어 | 데이터 출처 관리와 정제, 이상치 제거, 강건 학습, 백도어 탐지, 학습 과정과 모델 파일의 무결성 검증(해시·서명) | 데이터 오염 공격, AI 공급망 보안 |
| 프라이버시 | 차분 프라이버시, 출력 정보 최소화(점수 대신 레이블), 질의 수 제한, 머신 언러닝 | 멤버십 추론 공격, 머신 언러닝 |
| 프롬프트 인젝션·에이전트 | 입출력 가드레일, 최소 권한과 사람의 승인, 신뢰할 수 없는 데이터와 제어 흐름 분리 | AI 에이전트 보안, 인공지능 DLP |
| 공통 | 레드티밍, 위협 모델링, 모니터링 | 위협 모델링, 인공지능 레드티밍 도구 |
설계 단계 방어의 예로, 구글 연구진 등이 2025년 발표한 CaMeL은 신뢰할 수 있는 사용자 질의에서 제어 흐름을 먼저 뽑아 두어 외부에서 가져온 데이터가 프로그램 흐름을 바꾸지 못하게 한다. AgentDojo 벤치마크에서 증명 가능한 보안을 유지하면서 과제의 77%를 풀었다(방어 없는 시스템은 84%).[19] NIST는 회피 공격 방어가 강건성과 정확도의 상충을 피할 수 없고, 방어는 그 방어를 아는 적응형 공격으로 평가해야 한다고 강조한다.[1]
| 분야 | 위험 | 예 |
|---|---|---|
| 자율주행 | 교통 표지판·차선 인식 오류 | 정지 표지판 스티커 공격[8], BadNets의 표지판 백도어[5] |
| 얼굴 인식·본인 확인 | 신원 위장, 인증 회피 | 적대적 무늬를 인쇄한 안경테로 다른 사람으로 인식시킨 연구[20], ATLAS 사례 연구의 신원 확인 우회 |
| 보안 제품 | 악성코드·스팸 탐지 회피 | PDF 악성코드 탐지기 회피[21], ATLAS 사례 연구의 AI 악성코드 탐지 우회 |
| 의료 | 영상 판독 오류, 환자 정보 유출 | 멤버십 추론으로 입원 사실 노출 |
| 금융 | 신용 평가·이상 거래 탐지 조작 | 표 데이터 회피 공격(NIST 2.1.5절) |
| 생성형 AI 서비스 | 정보 유출, 허위 정보, 무단 행동 | 프롬프트 인젝션, 학습 데이터 추출, 에이전트 도구 악용 |
실제 사건과 연구 사례 모음은 인공지능 관련 해킹 사례 문서에 있다.
- ↑ 1.0 1.1 1.2 1.3 1.4 1.5 1.6 Apostol Vassilev 외, 〈Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations〉, NIST AI 100-2 E2025, 2025-03. NIST CSRC doi:10.6028/NIST.AI.100-2e2025
- ↑ 과학기술정보통신부·한국인터넷진흥원, 「인공지능(AI) 보안 안내서」, 2025-12-10(2026-03-13 정오 수정본). KISA 지식플랫폼
- ↑ Nicholas Carlini 외, 〈Poisoning Web-Scale Training Datasets is Practical〉, IEEE S&P 2024. arXiv:2302.10149
- ↑ Alexandra Souly 외, 〈Poisoning Attacks on LLMs Require a Near-constant Number of Poison Samples〉, 2025-10-08. arXiv:2510.07192
- ↑ 5.0 5.1 Tianyu Gu, Brendan Dolan-Gavitt, Siddharth Garg, 〈BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain〉, 2017. arXiv:1708.06733
- ↑ Evan Hubinger 외, 〈Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training〉, 2024. arXiv:2401.05566
- ↑ 7.0 7.1 7.2 MITRE, ATLAS 데이터 2026.09판(2026-09-15), AML.CS0027 Organization Confusion on Hugging Face, AML.CS0031 Malicious Models on Hugging Face. mitre-atlas/atlas-data
- ↑ 8.0 8.1 Kevin Eykholt 외, 〈Robust Physical-World Attacks on Deep Learning Models〉, CVPR 2018. arXiv:1707.08945
- ↑ Nicolas Papernot, Patrick McDaniel, Ian Goodfellow, 〈Transferability in Machine Learning: from Phenomena to Black-Box Attacks using Adversarial Samples〉, 2016. arXiv:1605.07277
- ↑ Kai Greshake 외, 〈Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection〉, AISec 2023. arXiv:2302.12173
- ↑ Andy Zou 외, 〈Universal and Transferable Adversarial Attacks on Aligned Language Models〉, 2023. arXiv:2307.15043
- ↑ 12.0 12.1 12.2 OWASP Gen AI Security Project, 〈OWASP Top 10 for LLM Applications 2025〉. genai.owasp.org
- ↑ Florian Tramèr 외, 〈Stealing Machine Learning Models via Prediction APIs〉, USENIX Security 2016. arXiv:1609.02943
- ↑ Matt Fredrikson, Somesh Jha, Thomas Ristenpart, 〈Model Inversion Attacks that Exploit Confidence Information and Basic Countermeasures〉, ACM CCS 2015. doi:10.1145/2810103.2813677
- ↑ Reza Shokri 외, 〈Membership Inference Attacks against Machine Learning Models〉, IEEE S&P 2017. arXiv:1610.05820
- ↑ Nicholas Carlini 외, 〈Extracting Training Data from Large Language Models〉, USENIX Security 2021. arXiv:2012.07805
- ↑ Milad Nasr 외, 〈Scalable Extraction of Training Data from (Production) Language Models〉, 2023. arXiv:2311.17035
- ↑ OWASP Machine Learning Security Top Ten(2023 초안). OWASP
- ↑ Edoardo Debenedetti 외, 〈Defeating Prompt Injections by Design〉, 2025. arXiv:2503.18813
- ↑ Mahmood Sharif 외, 〈Accessorize to a Crime〉, ACM CCS 2016. doi:10.1145/2976749.2978392
- ↑ Battista Biggio 외, 〈Evasion Attacks against Machine Learning at Test Time〉, ECML PKDD 2013. arXiv:1708.06131
- NIST AI 100-2 E2025, Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations
- MITRE ATLAS
- OWASP Top 10 for LLM Applications
- Nicolas Papernot 외, The Limitations of Deep Learning in Adversarial Settings, IEEE European Symposium on Security and Privacy, 2016.
- Nicholas Carlini, David Wagner, Towards Evaluating the Robustness of Neural Networks, IEEE Symposium on Security and Privacy, 2017.
- Florian Tramèr 외, Stealing Machine Learning Models via Prediction APIs, USENIX Security Symposium, 2016.